Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
尽管以前基于图的多视图聚类算法已经取得了重大进展，但其中大多数仍面临三个限制。首先，他们经常遭受高计算复杂性的困扰，这限制了他们在大规模场景中的应用。其次，他们通常在单视图级别或视图传感级别上执行图形学习，但经常忽略单视图和共识图的联合学习的可能性。第三，其中许多人依靠$ k $ - 表示光谱嵌入的离散化，这些嵌入缺乏直接使用离散群集结构直接学习图形的能力。鉴于此，本文通过统一和离散的两部分图（UDBGL）提出了一种有效的多视图聚类方法。具体而言，基于锚的子空间学习被合并为从多个视图中学习特定的二分化图，并利用双方图融合来学习具有自适应重量学习的视图 - 谐镜双分歧图。此外，施加Laplacian等级约束以确保融合的两分图具有离散的群集结构（具有特定数量的连接组件）。通过同时制定特定视图的两分图学习，视图 - 共表的两分图学习以及离散的群集结构学习到统一的目标函数中，然后设计有效的最小化算法来解决此优化问题，并直接实现离散的聚类解决方案解决方案解决方案解决方案解决方案。不需要其他分区，这特别是数据大小的线性时间复杂性。各种多视图数据集的实验证明了我们的UDBGL方法的鲁棒性和效率。
translated by 谷歌翻译
在这份技术报告中，我们介绍了数字写作助手（高效且智能编辑），该助手通过使用人工智能（AI）技术来促进用户更有效地编写更高质量的文本。以前的写作助理通常提供错误检查的功能（以检测和纠正拼写和语法错误）和有限的文本练习功能。随着大型神经语言模型的出现，一些系统支持自动完成句子或段落。在Effidit中，我们通过提供五个类别的功能来显着扩展写作助手的能力：文本完成，错误检查，文本抛光，关键字到句子（K2S）和云输入方法（Cloud IME）。在文本完成类别中，Effidit支持基于生成的句子完成，基于检索的句子完成和短语完成。相比之下，到目前为止，许多其他写作助理仅提供三个功能中的一两个。对于文本抛光，我们具有三个函数：（上下文感知）短语抛光，句子释义和句子扩展，而其他许多写作助手通常会在此类别中支持一两个功能。本报告的主要内容包括象征的主要模块，实施这些模块的方法以及一些关键方法的评估结果。
translated by 谷歌翻译
本地图像功能匹配，旨在识别图像对的识别和相应的相似区域，是计算机视觉中的重要概念。大多数现有的图像匹配方法遵循一对一的分配原则，并采用共同最近的邻居来确保跨图像之间本地特征之间的独特对应关系。但是，来自不同条件的图像可能会容纳大规模变化或观点多样性，以便一对一的分配可能在密集匹配中导致模棱两可或丢失的表示形式。在本文中，我们介绍了一种新颖的无探测器本地特征匹配方法Adamatcher，该方法首先通过轻巧的特征交互模块与密集的特征相关联，并估算了配对图像的可见面积，然后执行贴片级多到 - 一个分配可以预测匹配建议，并最终根据一对一的完善模块进行完善。广泛的实验表明，Adamatcher的表现优于固体基线，并在许多下游任务上实现最先进的结果。此外，多对一分配和一对一的完善模块可以用作其他匹配方法（例如Superglue）的改进网络，以进一步提高其性能。代码将在出版时提供。
translated by 谷歌翻译
视觉变压器（VIT）的最新进展在视觉识别任务中取得了出色的表现。卷积神经网络（CNNS）利用空间电感偏见来学习视觉表示，但是这些网络在空间上是局部的。 VIT可以通过其自我注意力机制学习全球表示形式，但它们通常是重量重量，不适合移动设备。在本文中，我们提出了交叉功能关注（XFA），以降低变压器的计算成本，并结合有效的移动CNN，形成一种新型有效的轻质CNN-CNN-VIT混合模型Xformer，可以用作通用的骨干链。学习全球和本地代表。实验结果表明，Xformer在不同的任务和数据集上的表现优于大量CNN和基于VIT的模型。在ImagEnet1k数据集上，XFormer以550万参数的优先级达到78.5％的TOP-1精度，比EdgitionNet-B0（基于CNN）（基于CNN）和DEIT（基于VIT）（基于VIT）的参数高2.2％和6.3％。当转移到对象检测和语义分割任务时，我们的模型也表现良好。在MS Coco数据集上，Xformer在Yolov3框架中仅超过10.5 AP（22.7-> 33.2 AP），只有630万参数和3.8克Flops。在CityScapes数据集上，只有一个简单的全MLP解码器，Xformer可实现78.5的MIOU，而FPS为15.3，超过了最先进的轻量级分割网络。
translated by 谷歌翻译
为了更好地利用搜索日志和建模用户的行为模式，提出了许多点击模型来提取用户的隐式交互反馈。大多数传统点击模型都是基于概率图形模型（PGM）框架，该框架需要手动设计的依赖项，并且可能会过度简化用户行为。最近，提出了基于神经网络的方法来通过增强表达能力并允许灵活的依赖性来提高用户行为的预测准确性。但是，他们仍然遭受数据稀疏性和冷启动问题的困扰。在本文中，我们提出了一个新颖的图形增强点击模型（GraphCM），用于Web搜索。首先，我们将每个查询或文档视为顶点，并分别针对查询和文档提出新颖的均匀图构造方法，以完全利用会议内和会议间信息，以解决稀疏性和冷启动问题。其次，在考试假设之后，我们分别对吸引力估计量和检查预测值进行了建模，以输出吸引力得分和检查概率，在该分数中，应用图形神经网络和邻居相互作用技术用于提取在预构建的同质图中编码的辅助信息。最后，我们将组合功能应用于将考试概率和吸引力得分整合到点击预测中。在三个现实世界会话数据集上进行的广泛实验表明，GraphCM不仅胜过了最先进的模型，而且还可以在解决数据稀疏性和冷启动问题方面取得卓越的性能。
translated by 谷歌翻译
为了根据用户的隐式交互反馈提供点击模拟或相关性估计，在近年来，单击模型进行了很多研究。大多数点击模型都集中在用户行为上，指向单个列表。但是，随着用户界面设计（UI）设计的开发，结果页面上显示的项目的布局往往是多块（即多列表）样式而不是单个列表，这需要不同的假设来建模用户行为模型更精确地。存在桌面上下文中多块页面的单击模型，但是由于不同的互动方式，结果类型，尤其是多块演示样式，因此无法直接应用于移动方案。特别是，多块移动页面通常可以分解为基本垂直块和水平块的交织，从而导致典型的F形式。为了减轻桌面和移动上下文之间的多块页面上的差距，我们进行了用户吸引人的学习研究，并确定用户的顺序浏览，block skip和F-Shape页面上的比较模式。这些发现导致了新型的F形点击模型（FSCM）的设计，该模型是多块移动页面的一般解决方案。首先，我们为每个页面构建一个有向的无环图（DAG），每个项目都被视为顶点，每个边缘表示用户可能的检查流。其次，我们建议分别对用户的顺序（顺序浏览，块跳过）和非序列（比较）行为提出DAG结构的GRU和比较模块。最后，我们将GRU状态和比较模式结合在一起，以执行用户点击预测。与基线模型相比，大型现实世界数据集上的实验验证了FSCM对用户行为预测的有效性。
translated by 谷歌翻译
对手示例是一些可以扰乱深度神经网络的输出的一些特殊输入，以便在生产环境中产生有意的误差。用于产生对抗性示例的大多数方法需要梯度信息。甚至是与生成模型无关的普遍扰动依赖于梯度信息的一定程度。程序噪声对手示例是对普发的示例生成的一种新方法，它使用计算机图形噪声快速生成通用的对抗扰动，同时不依赖于梯度信息。结合对抗的防御训练，我们使用Perlin噪声训练神经网络以获得可以防御程序噪声对抗的模型。结合使用基于预先训练的模型的模型微调方法，我们获得更快的培训以及更高的准确性。我们的研究表明，程序噪声对抗性实例是可辩护的，但为什么程序噪声可以产生对抗性实例，以及如何防御可能在未来出现的其他过程噪声对抗性示例仍有待调查。
translated by 谷歌翻译
基于模型的强化学习引起了广泛的样本效率。尽管到目前为止，它令人印象深刻，但仍然不清楚如何适当安排重要的超参数，以实现足够的性能，例如基于Dyna样式的算法中的政策优化的实际数据比。在本文中，我们首先分析了实际数据在政策培训中的作用，这表明逐渐增加了实际数据的比例会产生更好的性能。灵感来自分析，我们提出了一个名为autombpo的框架，以自动安排真实的数据比以及基于培训模型的策略优化（MBPO）算法的其他超参数，是基于模型的方法的代表性运行情况。在几个连续控制任务上，由AutomBPO安排的HyperParameters培训的MBPO实例可以显着超越原始的，并且AutomBPO找到的真实数据比例计划显示了与我们的理论分析的一致性。
translated by 谷歌翻译
现有的多策略自适应差分演进（de）通常涉及多种策略的试验，然后奖励更好的效率，具有更多资源。但是，剥削或探索战略的试验可能导致过度剥削或过度探索。为了提高性能，本文提出了一种新的策略适应方法，命名为显式适配方案（EA方案），其分离多种策略并将其按需采用它们。通过将演化过程划分为几个具有相似性选择（SCSS）代和自适应代的选择性候选者来完成的。在SCSS世代，通过利用平衡策略来学习利用和探索需求。为了满足这些需求，在自适应世代，另外两种策略，剥削或探索是自适应的。与其变体和其他适应方法相比，基准函数的实验研究证明了EA方案的有效性。此外，具有最先进的进化算法和基于群体智能的算法的性能比较表明EADE非常有竞争力。
translated by 谷歌翻译